home *** CD-ROM | disk | FTP | other *** search
/ CU Amiga Super CD-ROM 17 / CU Amiga Magazine's Super CD-ROM 17 (1997)(EMAP Images)(GB)[!][issue 1997-12].iso / CUCD / Online / AminetParse / AminetParse.doc < prev    next >
Text File  |  1997-10-04  |  9KB  |  216 lines
  1.                             AminetParse v1.05
  2.  
  3.                       © 1997 by Daniel J. Andrea II
  4.  
  5.  
  6. NOTE:  This software is offered as GIFTWARE.  If you like it, then you can
  7. send me something in payment of your choice (other programs, disks, computers,
  8. cars, etc.) at the address at the end of this document.  No warranty of any
  9. kind is offered with this software or implied, or for suitability of purpose.
  10. It's use is entirely at your own risk.  No fees can be charged for this
  11. software, other than the nominal fees for the cost of magnetic media and
  12. copying of the software onto that media, not to exceed the amount of US $5 for
  13. a disk containing this software.  Copies of this software must include this
  14. documentation file for redistribution through Fred Fish or other similar
  15. software collections.
  16.  
  17.  
  18. What is it?
  19. ===========
  20.  
  21. AminetParse is a small utility to parse Aminet RECENT or INDEX lists into
  22. Thor's file database.  This is quite a bit faster than the arexx script
  23. supplied with Thor.  I experimented quite a bit with the arexx script, but
  24. the best I could get with it was approximately 22 files added per second.
  25. AminetParse is quite fast.  On my system, it reaches speeds in excess of 
  26. 150 files added per second.  In some cases I've seen it hit peaks of over
  27. 200 files per second!
  28.  
  29. RECENT/INDEX files can be filtered with the Sortmail.excl file, just like in
  30. Sortmail.  Also, as of AminetParse 1.05, a NewFiles.txt file will be created
  31. in the proper directory just like Sortmail does.  This will only be done on
  32. RECENT listings.  AminetParse does absolutely nothing with the NewFiles.txt
  33. file when parsing INDEX listings.  AminetParse will ignore any 'Message of
  34. the day:' that may be placed at the end of a RECENT listing.  I may change
  35. this in the near future to create a message in the email conference of Thor
  36. of the info contained within the 'Message of the day:' section.
  37.  
  38. Note: NewFiles.txt will be replaced completely every time AminetParse is
  39. run with a RECENT listing.
  40.  
  41. AminetParse requires Thor 2.3+ (at least ver 4 of bbsread.library) and 
  42. AmigaOS 2.04+.
  43.  
  44.  
  45. Installation
  46. ============
  47.  
  48. Well, it's real simple.  AminetParse is a cli-only program, and can be run
  49. from anywhere.  Probably the best place would be in the bin sub-directory
  50. of Thor's main directory.  Just copy it to wherever you want to run it
  51. from.
  52.  
  53. Just copy the AddAminet.thor script to Thor:rexx, and make sure AminetParse
  54. is in Thor:bin.  Then it can be run from within Thor whenever you want to
  55. parse a RECENT or INDEX listing into the database.
  56.  
  57.  
  58. Usage
  59. =====
  60.  
  61. AminetParse is a shell-only program.  If you try to start it from the
  62. Workbench, you will most likely crash your machine.
  63.  
  64. Just type AminetParse in a shell and you'll get output like this:
  65.  
  66. AminetParse 1.06 (20-Sep-97) © 1997 Daniel J. Andrea II
  67. Usage:     AminetParse <system name> <Aminet INDEX/RECENT file> EXCLUDE
  68.  where <system name> is name of system to add files to
  69.        <Aminet INDEX/RECENT file> is full path and name of INDEX/RECENT file
  70.        EXCLUDE  (optional) tells AminetParse to use the Sortmail.excl file
  71.                 from inside the BBS's data directory to exclude certain file
  72.                 areas from being added to the database.
  73.  
  74. All you need is the name of your System in Thor, as in EMail&News (that's
  75. my BBS system name), and the full path and name of the INDEX/RECENT file.
  76. For example:
  77.  
  78.   AminetParse EMail&News SYS:temp/INDEX
  79.   
  80. will add the file INDEX from the drawer SYS:temp/ to the file database in
  81. the Thor system EMail&News.
  82.  
  83. Or add EXCLUDE:
  84.  
  85.   AminetParse EMail&News SYS:temp/INDEX EXCLUDE
  86.   
  87. will do the same as the previous example, but will use the Sortmail.excl
  88. file from inside the data directory of the BBS you enter.  If there is no
  89. Sortmail.excl file, AminetParse will continue as if the EXCLUDE option
  90. hadn't been entered along with a warning message.
  91.  
  92. That's it!
  93.  
  94. While AminetParse is running, you will get occasional status messages.
  95. First it will tell you whether this is a RECENT listing, such as daily or
  96. weekly, or a full INDEX. Then it will print out numbers periodically to
  97. show how many files have been processed.  Whenever a file area is parsed
  98. that is not in the file database, it will automatically add it and print
  99. out a message that it did so.
  100.  
  101. When it's finished, AmintParse will print out some statistics about the
  102. file parsing.
  103.  
  104. To parse listings while Thor is running, just execute the rexx script
  105. AddAminet.thor from the rexx menu.  It will check for the presence of
  106. a SortMail.excl file and prompt you if you want to filter with it.  
  107. AddAminet.thor will also prompt you to clear the file database if you are 
  108. parsing a full INDEX listing.
  109.  
  110. AminetParse now skips any extraneous data before the first real index listing
  111. line in the file.  So if you save the message to disk from Thor, you no longer
  112. need to edit out all the header information at the start of the file.
  113. AminetParse will check each line of text, starting from the beginning of the
  114. file, and checks to see if the line starts with the '|' character.  If it
  115. does, then it will check to see if the same line also contains either of the
  116. two words 'Complete' or 'Recent'.  If the line does not contain one of those
  117. words, it will scan to the end of file until it does find it.  If no start
  118. line for the listing is found, it will exit to the shell without doing
  119. anything to the database.
  120.  
  121.  
  122. Bugs
  123. ====
  124.  
  125. There are no known bugs at this time.  If you find any, please contact me
  126. at the E-Mail address or Snail-Mail address below with bug reports.  Be
  127. sure to include information on what other software was running and what
  128. kind of system you have.  Bug fixes will be incorporated into AminetParse
  129. as soon as possible.
  130.  
  131.  
  132. History
  133. =======
  134.  
  135.    v1.00  --  Initial release.
  136.  
  137.    v1.01  --  Added filtering based on the Sortmail script's filtering.
  138.               AminetParse uses the same file format, and will read the 
  139.               file Sortmail.excl from the BBS's data directory.
  140.    
  141.    v1.02  --  Well, it did have a bug.  Found my date calculation was
  142.               off by a couple of days.  Now shows correct date.
  143.  
  144.    v1.03  --  Added Checking for valid INDEX/RECENT file.  Removed a
  145.               warning message that wasn't needed.  Should fix some
  146.               problems noted by Trevor Daley.
  147.    
  148.    v1.04  --  Changed date calculation again.  This version should work
  149.               better now.
  150.  
  151.    v1.05  --  Added NewFiles.txt creation during parsing of RECENT
  152.               listings.
  153.  
  154.    v1.06  --  Fixed the parsing of weekly RECENT listings.  Previous
  155.               versions just treated all the files as being on the same
  156.               day.  Also will skip the 'Message of the day:' if it is
  157.               present in the RECENT listing.  The date parsing from the
  158.               listing should work properly on listings from other areas
  159.               (like from ftp.doc.ic.ac.uk), as long as the date is of the
  160.               form dd-mmm-yy or dd-mmm-yyyy, where dd is the day of the
  161.               month, mmm is the month name (like Sep for September), and 
  162.               yy or yyyy is the year (as in 97 or 1997).  Previous
  163.               versions would not work with listings that didn't originate
  164.               from the main Aminet site (ftp.wustl.edu).  It should now
  165.               work with listings from any site, but I cannot gaurantee
  166.               it will.  If anyone has a problem with an Aminet listing,
  167.               please send me a copy of the listing that caused a problem.
  168.               I can test it and release a bug fix as soon as possible from
  169.               that.
  170.  
  171.  
  172. Author
  173. ======
  174.  
  175. I can be contacted through Internet E-Mail at:
  176.  
  177.       dandrea@unix.tfs.net
  178.  
  179. or through Snail-Mail at:
  180.  
  181.       Daniel J. Andrea II
  182.       1331 Metropolitan St.
  183.       Leavenworth, KS 66048
  184.       U.S.A.
  185.  
  186. To check up on AminetParse development and other projects when they arise,
  187. point your web browser at
  188.  
  189.       http://www.tfs.net/~dandrea/
  190.  
  191. AminetParse was developed on a 25 MHz A3000 using SAS/C v6.57-6.58.
  192.  
  193.  
  194. Future
  195. ======
  196.  
  197. Have you got an idea for improvement?  Let me know and I'll see what I can
  198. do.
  199.  
  200. Most likely I will be trying my hand at making an amigaguide version of this
  201. documentation for the next release.  I've never done it before, so I'll have
  202. to study up on it some.  ;)
  203.  
  204.  
  205. Thanks
  206. ======
  207.  
  208. Special thanks to Petter Nilsen of the Thor team for help with my early
  209. version of AminetParse.  I couldn't see the trees in the forest so to
  210. speak, and he helped me sort it out.  Thanks, Petter!
  211.  
  212. Also, thanks to Trevor Daley for pointing out the date calculation 
  213. problems in earlier versions.
  214.  
  215. Thanks to Neil Bothwick for the Arexx script.
  216.